® bundesrepublik © Of f enlegu ngsschrif t 

DEUTSCHLAND 19638 727 A1 



CO) 




DEUTSCHES 
PATENTAMT 



(2?) Aktenzeich8n: 
@ Anmeldetag: 
@ Often I eg ung stag: 



19638727.2 
12. 9.96 
19. 3.98 



IBBHIIIHIIM»«»M» ,m 

© Int. CI. 6 : 

G01B 11/00 

G01 M 11/08 «" 
G 06 T 17/20 ^ 
A 81 C 19/04 

r- 

CM 

r- 
00 
eo 

to 
at 

ui 
O 



Anmelder: 

Rubbert, Rudger, Dipl.-lng., 12101 Berlin, DE 



® Erfinder: 

gleich Anmelder 



© Verfahren zur Erhohung der Signifikanz der dreidimensionalen Vermessung von Objekten 



(g) Beschrieben wird ein Verfahren zur Erhohung der Signifi- 
kanz der dreidimensionalen Vermessung von Objekten durch 
optische Aufnahmen, aufprojizierte Muster und Triangula- 
tionsberechnung, bei dem ein kodiertes Muster auf der 
Objekt zur Vermeidung von Mannigfaltigkeitan bei der 
Auswertung der Bilddaten projiziert wird. 
Dies ist insbesondere fur die medizinische Diagnostik, 
Therapie und Dokumentation vorteilhaft. 
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Die Erfindung betrifft ein Verfahren zur Erhohung 
der Signifikanz der dreidimensionalen Vermessung von 
Objekten durch optische Aufnahmen, aufprojiziene 
Muster und Trianguiationsberechnung, bei dem ein ko- 
diertes Muster auf das Objekt zur Vermeidung von 
Mannigfaitigkeiten bei der Auswertung der Biiddaten 
projiziert wird. 

Zum Zweck der Vermessung bietet der Einsatz von 
Verfahren, die auf optischer Grundlage arbeiten, eine 
Vielzahl von Vorteilen. Eine Vermessung kann schnell 
und beruhrungslos erfolgen. Zum Stand der Technik 
gehoren elektronische Bildwandler, beispielsweise 
CCD-Arrays, deren Ausgangssignaie unmitteibar nach 
einer Digitalisierung gespeichert oder ausgewertet wer- 
den konnen. 

Bekannt sind Verfahren und Vorrichtungen zur Dar- 
stellung und optischen dreidimensionalen Vermessung 
von raumlichen Oberflachen. Sie basieren auf Triangu- 
lationsverfahren, bei denen unter einem bekannten 
Winkel Punkt-, Linien- oder beliebige andere Muster 
auf die betrachtete Oberflache projiziert werden und 
die projizierten Muster unter einem von dem Projek- 
tionswinkel verschiedenen Biickwinkel mit einer Optik 
und einem Bildwandler aufgenommen werden. Die be- 
kannte Geometrie zwischen Projektionsrichtung und 
Aufnahmerichtung erlaubt die dreidimensionale Be- 
rechnung von Stutzpunkten der Oberflache. 

Projiziert man auf ein Objekt mit raumlichen Erstrek- 
kungen beispielsweise ein gleichmaBiges Linienmuster, 
ergibt sich bei einer von der Projektionsrichtung ver- 
schiedenen Blickrichtung in Abhangigkeit von der 
Oberflachengestalt des Objekts ein verzemes Linien- 
muster. Bildet man aus dieser Betrachtungsrichtung das 35 
Objekt durch eine geeignete Optik auf ein CCD-Array 
ab, digitalisiert man die Bildsignale und steilt sie einer 
Datenverarbeitungseinheit zur Verfugung, so ist es 
moglich, an verschiedenen Stellen des Bildes die Linien 
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Aufnahmeeinheit hinsichtiich Sicht- und Projektions- 
richtung derart auszurichten, daB mit einer einzigen 
Aufnahme die relevanten Oberflachensegmente des 
Objekts aufgenommen werden konnen und — zweitens 
— , urn nicht aufgrund von Hinterschneidungen die 
3D- Koordinaten fehlerhaft zu berechnea In diesem Zu- 
sammenhang wird vorgeschlagen, die Linien aufgund 
der partiell vorliegenden Kontrastinformation bei der 
Berechnung zu "gewichten" Dies kann jedoch bei einer 
hinsichtiich des Kontrasts unterschiedlichen Ausbildung 
der Oberflachenstruktur des Objekts die Wahrschein- 
lichkeit einer fehlerhaften Berechnung nur zum Teil mi- 
nimieren. 

Es gehort zum Stand der Technik, die aus Einzelbil- 
dern mit unterschiedlicher Aufnahmerichtung gewon- 
nenen Teilinformationen Qber dreidimensionale Ober- 
flachen anhand der 3D-fCoordinaten ubereinstimmen- 
der Oberflachensegmente mittels sogenannter "Mat- 
ching- Algorithm en" zu einer Gesamtinformation zu 
kombinieren. Es ist offensichdich, daB Mannigfaitigkei- 
ten bzw. Unsicherheiten beziiglich der Richtigkeit der 
eingehenden Koordinaten eine sinnvolle numerische 
Berechnung verunmoglichen konnen, insbesondere 
wenn diese automatisch und online wahrend des Auf- 
nahmevorgangs vorgenommen werden solL 

Aufgabe der Erfindung ist es daher, das Verfahren zur 
Erhohung der Signifikanz der dreidimensionalen Ver- 
messung von Objekten der eingangs beschriebenen Art 
zu schaffen, mit dem jeder Bereich des projizierten Mu- 
sters in dem Aufnahmebild fur sich betrachtet eindeutig 
identifiziert werden kann, ohne daB eine Stetigkeit der 
Oberflache hinsichtiich der Betrachtungs- und Projek- 
tionsrichtung in der oben beschriebenen Art und Weise 
vorausgesetzt werden muB. 

Die Aufgabe wird erfindungsgemaB bei dem Verfah- 
ren dadurch gelost, daB die zum Zwecke der dreidimen- 
sionalen Vermessung von Objekten mit raumlichen Er- 
streckungen nach dem Triangulationsverfahren proji- 
zierten Musterbereiche derart kodiert sind, daB sich an- 
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lengangs und unter Berucksichtigung der geometri- 
schen Ausbildung des projizierten Linienmusters iiber 
Tnangulation3D-Koordinaten zu errechnen. 

Bei einer einfachen raumlichen Ausbildung des Ob- 
jekts konnen aufgrund des relativen Abstands der abge- 
bildeten Linien zueinander inkrementelle Koordinaten 
berechnet werden. 

Es ist jedoch bekannt, daB Hohenstufen in der zu 
vermessenden Oberflache unter bestimmten geometri- 
schen Bedingungen zu relevanten MeBfehlern fuhren 
konnen. Weist das Objekt beziiglich der Projektions- 
bzw. der Aufnahmerichtung Hinterschneidungen auf, so 
ist nicht ohne weiteres ersichtlich, ob es sich bei benach- 
barten Linien im Abbiid tatsachlich auch urn benachbart 
projizierte Linien handelt Falls einzelne Linien nicht 
zur Darsteilung gekommen sind, ist zudem nicht be- 
kannt, wie viele Linien "verschluckt" worden sind. Als 
Hinterschneidungen sind hier Ausbildungen der dreidi- 
mensionalen Kontur zu verstehen, die infoige der Be 
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dem entsprechenden Bereich des projizierten Musters 
erkennen laBt. Aus der Kenntnis des Strahlengangs, der 
geometrischen Ausbildung des projizierten Musters 
und der Kenntnis der Lage des entsprechenden Muster- 
ausschnittes in der Bildaufnahme konnen mittels einfa- 
cher Triangulauonsberechnung absolute 3D- Koordina- 
ten bestimmt werden. 

Wenn jetzt Teile des projizierten Musters in einen 
abgeschatteten Bereich fallen, so kann dennoch partiell 
das Muster identifiziert und eine exakte 3D-Berechnung 
ausgefuhrt werden. Zwar ist die dreidimensionale Ver- 
messung der Oberflache beziiglich des abgeschatteten 
Bereichs nicht moglich, aber fur die anderen Bereiche 
aufgrund der eindeutigen Zuordnung der jeweiligen 

Musterpartien korrekt. 

Es ist denkbar, daB die Ausbildung des kodierten Mu- 
sters gegenuber einem einfachen Streifenmuster unter 
Umstanden die Anzahl der berechenbaren 3D-Informa- 
tionen reduziert Bewegt man jedoch mit geringer Ge- 
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felds der Aufnahmeeinheit in einer Einzelaufnahme 
moglich ist. 

Durch das erfindungsgemaBe Verfahren konnen in 
dem vorstehend beschriebenen Sinne Mannigfaltigkei- 
ten bei der Triangulationsberechnung vermieden und 5 
die Signifikanz dieser Berechnungen erhoht werden. 

"Kodiert" sind im Sinne dieser Erfindung Bereiche des 
aufprojizierten Musters, die hinsichtlich ihrer geometri- 
schen Ausbildung und/oder Erstreckung und/oder ihrer 
sonstigen beispieisweise farbigen Ausgestaltung signifi- 10 
kant unterscheidbar sind. 

Wird als Muster fur die Projektion ein Linienmuster 
verwendet, erhalt man fiir die 3D-Berechnung relevante 
Informationen, wenn die Linien mit einer wesentlichen 
Komponente quer zu der von der zwischen Blick- und \$ 
Projektionsrichtung aufgespannten Ebene gestreift 
sind. 

Bei Verwendung eines Linienmusters konnen die Li- 
nien erfindungsgemaB vorteilhaft z. B. durch Variation 
der Strichstarke innerhalb der jeweiligen Linie kodiert 20 
werden. Hierbei konnen binare, andere diskrete und 
analoge Kodierungen zum Einsatz kommen. 

Werden beispieisweise — erstens — helle Linien auf 
das Objekt projiziert, liegen — zweitens — die Kon- 
trastdaten der digitalisierten Bildinformationen im Spei- 25 
cher einer Datenverarbeitiingseinheit flachig vor, sind 
also in Zeilen und Spalten organisiert und reprasentie- 
ren — drittens — die Spaltendaten beispieisweise die 
Bildinformationen in Richtung der Ebene, die zwischen 
Aufnahme- und Projektionsrichtung aufgespannt wird, 30 
kann die automatisierte Auswertung der Daten in einem 
geeigneten Algorithmus zum Zwecke der Berechnung 
der absoluten 3D-K.oordinaten derart erfolgen, daB die 
Kontrastdaten entlang einer Bildspake auf die Uberein- 
stimmung mit der Musterfolge dunkel/hell/dunkel uber- 35 
pruft werden. Hierfiir sind die entsprechenden statisti- 
schen und numerischen Methoden wie Kreuzkorrela- 
tion, Wiener- Filter etc. auch fiir die Subpixelauswertung 
bekannt. 

Ist nun die Spaitensteile der Musterubereinstimmung 40 
bekannt, das heiBt, hat man eine Linie identifiziert, kann 
uber Kantenverfolgung der Verlauf und die Ausbildung 
der Linie in den benachbarten Spalten untersucht wer- 
den. Mit den zum Stand der Technik gehorenden Me- 
thoden der Mustererkennung kann damit die Linie 45 
selbst beziiglich ihrer Ausbildung und damit ihrer fCo- 
dierung untersucht werden. 

Im Ergebnis ist — erstens — die Spaitensteile be- 
kannt, an der die Linie mit ihrem Musterschwerpunkt 
aufgenommen wurde und — zweitens — das entspre- 50 
chende Liniensegment dekodiert; somit laBt sich das 
Liniensegment eindeutig zur entsprechenden Muster- 
stelle in dem unverzerrten und zur Projektion gekom- 
menen Muster zuordnen. Aus diesen Informationen 
kann tiber Triangulationsberechnung die 3D-Koordina- 55 
te fiir einen entsprechenden Punkt der betrachteten 
Oberflache des Objekts bestimmt werden. 

Identifiziert man nun in der beschriebenen Art und 
Weise sowohl die anderen Linien in derselben Spalte 
und ftihrt man dieses Verfahren auch in anderen Spalten 60 
durch erhalt man eine Anzahl von Koordinaten, die 
samtlich einzelnen Punkten auf der Oberflache des Ob- 
jekts entsprechen. Derartige sogenannte "Punktewol- 
ken", mit denen die Ausbildung von Oberflachen be- 
schrieben wird, sind in der Technik bekannt. Die weitere es 
Datenverarbeitung von Punktewolken beispieisweise 
zur Bildung von Gitternetzstrukturen oder von Fla- 
chensegmenten gehort ebenfalls zum Stand der Tech- 



nik. 

Insbesondere bei medizinischen Anvvendun^en er- 
moglicht die mit vorstehendem Verfahren mogiiche ex- 
akte dreidimensionaie digitale Beschreibung den Ver- 
zicht auf raumliche Abformungen (wie z. B. Gipsabdriik- 
ken) zur Dokumentation von Befunden dreidimensiona- 
len Inhalts oder zur computergestutzten Anfertigung 
von therapeutischen Mitteln (wie z. B. Zahnspangen, 
Zahnersatz, Impiantate). 

Es ist erfindungsgemaB vorteilhaft, entlang der je- 
weils betrachteten Linie abwechselnd Segmente mit 
einfacher und doppelter Strichstarke anzuordnen. Wer- 
den beispieisweise zudem jeweils kurze und lange Li- 
niensegmente verwendet, konnen aus der Variation kur- 
zer und langer Liniensegmente mit einfacher oder dop- 
pelter Strichstarke entlang einer Linie analog zum Mor- 
sealphabet die Linien unterschiedlich kodiert werden. 
Wenn jetzt Linien in einen abgeschatteten Bereich fal- 
len, so kann dennoch fiir jedes einzelne sichtbare Linien- 
segment, das die vollstandige Kodierung enthalt, eine 
Berechnung absoluter 3D-Koordinaten ausgefuhrt wer- 
den, ohne daB hierfiir Informationen beziiglich anderer 
Linien oder Linienabschnitte erforderlich sind. 

Es ist erfindungsgemaB vorteilhaft, in bestimmten 
Musterausschnitten in geometrisch eindeutiger Anord- 
nung beispieisweise den schwarz/weiB-Anteil zu variie- 
ren, urn aus dem jeweiligen Verhaltnis schwarz zu weiB 
die Musterpartie von anderen unterscheiden zu konnen. 
ErfindungsgemaB besonders vorteilhaft konnen die 
Segmente mit unterschiedlichem Schwarzanteil linear 
oder konzentrisch angeordnet werden. 

Es ist erfindungsgemaB vorteilhaft, in bestimmten 
Musterausschnitten Unterbrechungen der Linien anzu- 
ordnen und durch unterschiediiche Ausgestaltung die- 
ser Unterbrechungen die Musterteile zu variieren. 

Alternativ oder zusatzlich zu einer schwarz/weiB- 
Ausbildung des Musters kann erfindungsgemaB beson- 
ders vorteilhaft eine Farbkodierung des Musters vorge- 
nommen werden. Bei Verwendung von Linien als Mu- 
ster kann erfindungsgemaB vorteilhaft beispieisweise 
jede Linie in einer unterschiedlichen Farbe ausgefuhrt 
werden. Dadurch bleibt die Informationsdichte je Lmie 
vollstandig erhalten; dennoch ist jede Linie eindeutig zu 
identifizieren, sofern der Farbgehalt der aufgenomme- 
nen Oberflache eine solche Unterscheidung zulaBt 

Unter "Farbe" wird im Sinne dieser Erfindung eine 
Auswahl von Spektrallinien und Spektralbereichen des- 
sichtbaren, infraroten und/oder ultravioletten Lichts 
verstanden. Im Sinne dieser Definition ist es unerheb- 
Iich, ob die Farbe durch Erzeugung bestimmter Spek- 
tren oder Spektralbereiche und gegebenenfalls durch 
additive Farbmischung gebildet oder durch Absorption 
und gegebenenfalls subtraktive Farbmischung aus ei- 
nem breiteren Spektnim gefiltert wird. 

"Schwarz" wird im Sinne dieser Erfindung synonym 
fur im wesendichen unbeleuchtet und/oder fur im we- 
sentlichen ohne Ruckstrahl- oder Durchstrahlkompo- 
nente aufgrund von Absorption verwendet. 

"WeiB" wird im Sinne dieser Erfindung synonym fiir 
mit breitem Spektralband beleuchtet und fiir mit Riick- 
strahl- oder Durchstrahlkomponente mit breitem Spek- 
tralband verwendet 

Samtliche in dieser Erfindung beschriebenen Ausge- 
staltungen des Verfahrens konnen erfindungsgemaB be- 
sonders vorteilhaft in vielfaltiger Art und Weise mitem- 
ander kombiniert werden. 

Weitere Vorteile, Merkmale und Anwendungsmog- 
lichkeiten der vorliegenden Erfindung ergeben sich aus 
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derfolgenden Beschreibung bevorzugter Ausruhrunss- 
beispiele ,n Yerb.nd.ung mit der aniiegenden Zeichnung 

2? D^fJh IUngSf ° nnen V ° n kodierten Must ern 
Z^f'^ von optischen Aufnahmen zum 
Zwecke der dre.d.mens.onalen Vermessung von Objek- 
ten durch aufprojiz.erte Muster und Triangulationsbe- 

^iJrm^p 3 ^ Erfindung " tei,weise scSemSS 
In i dem m F.g 1 gezeigten Linienmuster ist die Strich- 
starke entlang der jeweiligen Linie in regelmaBig wie- 
derholter Folge abwechselnd in einfacher oder dfppel- 
eLmTr (Stnch V^ der S«taJt ausgefuhxt, S in 
einem defimerten Linienabschnitt das LSngenverhahnS 
der Stucke m,t einfacher und doppelter Strfchstarke von 
Lime zu Lime unterschiedlich ausgebildet ist. In analo- 
ger Anwendung der in der Signalverarbeitung QbUchen 
Ausdruckswe.se kann man mit anderen Worten in die 
sem Zusammenhang von einem unterschiedlichen 

sex^ 1 * innerha,b der pw3Ss 

zusa£l£h R |; h! Ausffl |j"»«sfonn zeichnet sich 

SOSES' der berechenba ™ s ~ 

Mm t iS;i Wi f d 6ine . Anordnun § von konzentrischen 
Mustere ementen geze.gt wobei die einzelnen Elemente 

Seisin 90o k< ? iert Sind ' daB ~ erstens ~ d «r SSS 
KJ-eis in 90 -Segmenten unterschiedlich geschwarzt ist 
- zwe.tens - der auBere konzentrische fSng n 
90 -Segmenten unterschiedlich geschwarzt ist und - 

52V 6 Winke,steIlun g d " auBeren konzentri- 
schen Ringmusters zur ubergeordneten Elementanord- 
nung unterschiedlich ausgebildet ist. Die in FigTee 

Sn ^T'™ zeichnet sich ^satzlich zu der 
Kodierung der Musterteile dadurch aus, daB 

2 du ' ch die drei genannten Moglichkeiten der un- 
tersch.edhchen Ausbildung des einzelnen Muster- 
elements one hohe Signifikanz der Kodierung er- 
reicht werden kann und insofern 

b) one groBe Anzahl von Elementen sicher unter- 
schieden werden konnen, beziehungsweise 

c) redundante Informationen zu Prufzwecken dar- 
gestellt werden konnen, 

d) sich die konzentrische Ausbildung der Muster- 
eigSd aut ° matische Mustererkennung 

e) sich der innere Kreis in seinen unterschiedlichen 
Ausb.ldungen f Or die exakte Bestimmung der Stelle 
.m verzerrten Abbild des projizierten Musters mit- 
tels Mustererkennungsalgorithmen eignet. 

Patemanspriiche 

1 . Verfahren zur Erhohung der Signifikanz der drei- 
dimens.onalen Vermessung von Objekten durch 
optische Aufnahmen, aufprojizierte Muster und 
Tnangulationsberechnung, dadurch gekennzeich- 
net, daB verschiedene Bereiche des aufprojizierten 
Musters erne unterschiedliche Ausbildung aufwei- 
sen und damit kodiert sind. 

2. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB das Muster aus mindestens zwei geo- 
metrischen Elementen zusammengesetzt ist, die 
durch unterschiedliche Ausbildung kodiert sind. 

3. .Verfahren nach Anspruch 2, dadurch gekenn- 
zeichnet, daB es sich bei den unterschiedlich ausge- 
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bildeten geometrischen Elementen um Elemente 
mit im weser.tlichen linearer Erstreckunghandelt. 

4. Verfahren nach Anspruch 2, dadurch gekenn- 
zeichnet, daB es sich bei den unterschiedlich ausge- 
bildeten geometrischen Elementen um Elemente 
mit im wesentlichen konzentrischer Erstreckung 
handelt. 

5. Verfahren nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, daB die unterschiedlich 
ausgebildeten Bereiche des Musters Unterschiede 
hinsichdich der Ausbildung der Strichstarke auf- 
weisen und dadurch kodiert sind. 

6. Verfahren nach einem der Anspruche 2 bis 5, 
dadurch gekennzeichnet, daB die unterschiedlich 
ausgebildeten geometrischen Elemente des Mu- 
sters Unterschiede durch Unterbrechung aufwei- 
sen und dadurch kodiert sind 

7. Verfahren nach einem der Anspruche 1 bis 6, 
dadurch gekennzeichnet, daB die unterschiedlich 
ausgebildeten Bereiche des Musters Unterschiede 
hinsichdich der Farbgestaltung und/oder des 
schwarz/weiB-Gehalts aufweisen und dadurch ko- 
diert sind. 

8. Verfahren nach einem der Anspruche 1 oder 7, 
dadurch gekennzeichnet, daB aus der Bildinforma- 
tion 3D-Koordinaten von jeweils mindestens einem 
Punkt aus mindestens zwei Bereichen der Oberfla- 
che des aufgenommenen Objekts berechnet wer- 
den, auf die wahrend der Aufnahme unterschiedlich 
kodierte Bereiche des Musters projiziert worden 
sind. 

9. Verwendung der Verfahren nach einem der An- 
spruche 1 bis 8 fur die medizinische Diagnostic 
Therapieoder Dokumentation. 

Hierzu 1 Seite(n) Zeichnungen 
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Method for increasing the significance of the three-dimensional surveying of objects 

The invention relates to a method for increasing the significance of the three- 
5 dimensional surveying of objects by means of optical pick up, projected patterns and 
triangulation calculations, in which a coded pattern is projected onto the object in 
order to avoid variations in the evaluation of the image data. 

For surveying purposes, the range of methods which work on an optical principle 
10 offers a large number of advantages. A survey can be done rapidly and without 
contact. The prior an includes electronic image converters, for example CCD 
arrays, the output signals of which can be stored or evaluated directly after being 
digitised. 

15 Methods and devices are known for representing and for optical three-dimensional 
surveying of spatial surfaces. They are based on triangulation methods in which 
point, line or any other patterns are projected at a known angle onto the surface 
being viewed and the projected pattern is picked up from a different viewing angle 
from the projection angle with an optical system and an image converter. The 

20 known geometry between the direction of projection and the pick up direction allows 
three-dimensional calculation of interpolation points of the surface. 

If, for example, a regular line pattern is projected onto an object with spatial 
extents, when the viewing direction differs from the direction of projection, a 

25 distorted line pattern is produced dependent upon the surface shape of the object. 
If the object is imaged from this viewing direction on to a CCD array by means of 
a suitable optical system, and if the image signals are digitised and made available 
to a data processing unit, it is possible to identify the lines at different places in the 
image, and when the optical beam path is known, and taking into account the 

30 geometrical configuration of the projected line pattern, to calculate 3D coordinates 
by means of triangulation. 



With a simple spatial configuration of the object, incremental coordinates can be 
calculated on the basis of the relative distance apart from one another of the lines 
imaged. 



It is known, however, that height contours in the surface to be surveyed can, under 
certain geometrical conditions, lead to significant errors in measurement. If the 
object has undercuts with respect to the direction of projection and/or pick up, it is 
not absolutely obvious whether adjacent lines in the image are actually adjacently 
projected lines. If individual lines have not been represented, it is also unknown 
how many lines have been "swallowed". Undercuts are understood in this context 
as configurations of the three-dimensional contour which, as a result of the direction 
of viewing or of projection, are covered up by parts of the object itself, and 
therefore are not accessible for viewing or projection. 

In European patent application 0 250 993, a system for manufacturing ceramic 
inlays is described in which an optical 3D measuring device is used for surveying 
the cavity in a tooth. Here, the importance of an "optimum view" is underlined for 
two reasons - firstly - in order to be able to align the pick up unit with respect to 
the direction of viewing and of projection such that the relevant surface segments 
of the object can be picked up with a single image pick up, and - secondly - in order 
to not make erroneous calculations of the 3D coordinates because of undercuts. In 
this connection, it is proposed to "weight" the lines in the calculation, because of 
the contrast data partially available. When the configuration of the surface structure 
of the object is different with respect to contrast, however, this can only partially 
minimise the probability of an erroneous calculation. 

It is known from the prior art to combine into overall data the partial data about 
three-dimensional surfaces obtained from single images picked up from different 
directions, using the 3D coordinates of corresponding surface segments, by means 
of so-called "matching algorithms". It is obvious that variations and doubts about 
the correctness of the coordinates involved can make a useful digital calculation 
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impossible, in particular when this is to be done automatically and on-line during 
the pick up procedure. 

The object of the invention is therefore to provide the method for increasing the 
significance of the three-dimensional surveying of objects, of the type described in 
the introduction, with which every area of the projected pattern can, when viewed, 
be clearly identified in the image picked up, without continuity of the surface with 
respect to the direction of viewing and projection, in the manner described 
hereinabove, being a requirement. 

The object is attained according to the invention with respect to the method in that 
the pattern areas projected for the purpose of three-dimensional surveying of objects 
with spatial extents according to the triangulation method are coded such that using 
a partial image section, the relationship with the corresponding area of the projected 
pattern can be recognised. By knowing the beam path and the geometrical 
configuration of the projected pattern, and by knowing the position of the 
corresponding pattern section in the image pick up, absolute 3D coordinates can be 
determined by means of simple triangulation calculation. 

When parts of the projected pattern now fall into a shaded area, the pattern can 
nevertheless be identified partially, and an exact 3D calculation can be carried out. 
Although three-dimensional surveying of the surface with respect to the shaded area 
is not possible, it is correct for the other areas because of the clear association of 
the respective parts of the pattern. 

It is conceivable that under some conditions, the configuration of the coded pattern 
reduces the number of calculable 3D data compared to a simple striped pattern. If, 
however, the pick up unit is moved at low speed with respect to the object, and 
during this takes a sequence of different single images, by suitable combination of 
the data associated with to the single images, the 3D data can be condensed and 
successively completed; whether to supplement the data missing due to undercuts 
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in individual images, or whether it is to represent larger objects than is possible 
because of the limitations of the viewing field of the pick up unit in one single 
image. 

5 By means of the method according to the invention, in the sense described 
hereinabove, variations in the triangulation calculation are avoided and the 
significance of these calculations increased. 

Within the meaning of this invention, "coded" means areas of the projected pattern 
1 0 which are significantly distinguishable with respect to their geometrical configuration 
and/or extent and/or their other, for example coloured, configuration. 

If a line pattern is used as a pattern for projection, data relevant for the 3D 
calculation is obtained when the lines are played with a substantial component 
15 transversely to the plane fixed between the directions of viewing and projection. 

When a line pattern is used, the lines can, according to the invention, 
advantageously be coded, for example by variation of the line thickness within the 
respective lines. With this, binary, other discrete and analog encodings can be used. 

20 

If, for example - firstly - light lines are projected onto the object, - secondly - the 
contrast data of the digitised image data in the memory of a data processing unit are 
planar- that is to say are organised in lines and columns, and - thirdly - the column 
data represent for example the image data, in the direction of the plane fixed 

25 between the directions of pick up and projection, automatic evaluation of the data 
in a suitable algorithm for the purposes of calculating the absolute 3D coordinates 
can take place such that the contrast data is examined along a gap in the image for 
correspondence with the dark/light/dark pattern sequence. Appropriate statistical and 
digital methods such as cross-correlation, Wiener filters and so forth are also known 

30 for sub-pixel evaluation. 
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If the column location of the pattern correspondence is now known, that is to say, 
a line has been identified, the course and the configuration of the line can now be 
investigated for in the adjacent columns by edge tracking. Using the methods 
known from the prior an for pattern recognition, the line itself can thereby be 
investigated with respect to its configuration and thereby its code. 

As a result - firstly - the column location is known where the line together with its 
main focus of pattern has been recorded, and - secondly - the corresponding line 
segment is decoded; the line segment can consequently be clearly assigned to the 
corresponding location in the pattern in the undistorted pattern which has been used 
for projection. From these data, the 3D coordinates for a corresponding point of 
the viewed surface of the object can be determined by means of triangulation 
calculation. 

If the other lines are also identified in the same column in the manner described, 
and if this method is also implemented in other columns, a number of coordinates 
which together correspond to individual points on the surface of the object is 
obtained. Such so-called "scatter" with which the configuration is described is 
known in the prior art. The further data processing of scatter, for example in order 
to form grid system structures or surface segments is also known from the prior an. 

In particular with medical applications, the exact three-dimensional digital 
description possible with the present method makes it possible to dispense with 
spatial modelling (such as plaster casting, for example) for documentation of 
findings or reports with a three-dimensional content or for computer aided 
production of therapeutic devices (such as, for example, tooth braces, replacement 
teeth, implants). 

It is advantageous according to the invention to alternately arrange segments with 
single and double line thickness along the respective line being viewed. If, for 
example, in addition short and long line segments are used, the lines can be 
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differently coded similarly to Morse code by the variation in short and long line 
segments with single or double line thickness. When the lines now fall into a 
shaded area, a calculation of absolute 3D coordinates can be implemented 
nevertheless for each individual visible line segment which contains the complete 
coding, without data with respect to other lines or line sections being necessary for 
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It is advantageous according to the invention to vary, for example the black/white 
ratio in specific pattern sections in a clear geometrical arrangement, in order to be 
able to differentiate the pan of the pattern from others by means of the respective 
ratio of black to white. Particularly advantageously according to the invention, the 
segments with a different black content can be arranged in a linear or concentric 
manner. 



It is advantageous according to the invention to arrange gaps in the lines in specific 
pattern sections, and to vary the pattern parts by different configuration of these 
gaps. 



Alternatively or in addition to a black/white configuration of the pattern, particularly 
20 advantageously according to the invention, colour coding of the pattern can be 
undertaken. When lines are used as a pattern, advantageously according to the 
invention, for example, each line can be configured in a different colour. In this 
way the data density per line is completely retained; nevertheless each line can be 
clearly identified, provided that the colour content of the surface being picked up 
25 allows such a differentiation. 

Within the meaning of the invention, "colour" is understood to mean aselection of 
spectral lines and spectral ranges of visible, infra-red and/or ultra-violet light. In 
the sense of this definition, it is unimportant whether the colour is formed by 
30 producing specific spectra or spectral ranges and optionally by additive colour 
mixing, or filtered by absorption and optionally subtractive colour mixing from a 
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wider spectrum. 

Within the meaning of the invention "black" is used as a synonym for substantially 
unlit and/or components substantially without retroreflection or transillumination, 
due to absorption. 

Within the meaning of the invention, "white" is used as a synonym for lit with a 
wide spectral band and for components with retroreflection or transillumination with 
a wide spectral band. 

All the configurations of the method described in this invention can, particularly 
advantageously according to the invention, be combined with one another in many 
different ways. 

Further advantages, features and possible applications of the present invention will 
be evident from the following description of preferred embodiments with reference 
to the attached drawings. 

In the attached drawings, Figs. 1 and 2 show embodiments of coded patterns for 
implementing optical pick ups for the purpose of three-dimensional surveying of 
objects by means of projected patterns and triangulation calculations according to 
the invention, in part schematically. 

In the line pattern shown in Fig. 1, the line thickness along the respective lines is 
alternately configured in a regularly repeating sequence in single or double width 
(line thickness), such that in a defined line section, the proportion of the length of 
the pieces with single and double line thickness is configured differendy from line 
to line. In connection with this, using the expression commonly used in signal 
processing in an analogous manner, one may, in other words, speak of a different 
black-white pulse duty factor within the periodicity of the pattern. 
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In addition to coding of the parts of the pattern, the embodiment shown in Fig. 1 
is distinguished in that because of the particular configuration of the pattern, a high 
density of calculable interpolation points can be obtained. 

Fig. 2 shows an arrangement of concentric pattern elements wherein the individual 
elements are coded such that - firstly - the inner circle is variously blackened in 90° 
segments, - secondly - the outer concentric ring is variously blackened in 90° 
segments, and - thirdly - the angular position of the outer concentric ring pattern is 
configured differently to the element arrangement above 

it. The embodiment shown in Fig. 2 is distinguished, in addition to the coding of 
the pattern parts, in that 



a) a high degree of significance of coding can be obtained by means of the 
three possibilities described of different configuration of the individual 
pattern elements, insofar as 

b) a large number of elements can be reliably differentiated from one 
another, and/or 

c) redundant data can be represented for checking purposes, 

d) the concentric configuration of the pattern elements is suitable for 
automatic pattern recognition, and 

e) the different configurations of the inner circle are suitable for precise 
determination of the location in the distorted image of the projected 
pattern by means of pattern recognition algorithms. 



Method for increasing the significance of the three-dimensional surveying 
of objects by optical pick up, projected patterns and triangulation 
calculation, characterised in that different areas of the projected pattern 
have a different configuration and are thereby coded. 

Method according to claim 1, characterised in that the pattern is 
composed of at least two geometrical elements which are coded by 
different configurations. 

Method according to claim 2, characterised in that the differently 
configured geometrical elements are elements which extend in a 
substantially linear manner. 

Method according to claim 2, characterised in that the differently 
configured geometrical elements are elements which extend in a 
substantially concentric manner. 

Method according to one of claims 1 to 4, characterised in that the 
differently configured areas of the pattern have differences with respect 
to the line thickness, and are coded thereby. 

Method according to one of claims 2 to 5, characterised in that the 
differently configured geometrical elements of the pattern have 
differences by virtue of gaps, and are coded thereby. 

Method according to one of claims 1 to 6, characterised, in that the 
differently configured areas of the pattern have differences with respect 
to the colouring and/or the black-white content, and are coded thereby. 

Method according to one of claims 1 or 7, characterised in that from the 
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image data, 3D coordinates are calculated of each of at least one point 
from at least two areas of the surface of the object picked up, upon 
which differently coded areas of the pattern have been projected during 
pick up. 

Use of the method according to one of claims 1 to 8 for medical 
diagnostics, therapy or documentation. 
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Fig. 1 




